Huyện được thành lập ngày 15 tháng 12 năm 1962 theo Quyết định số 211-QĐCP của Hội đồng Chính phủ trên cơ sở tách 15 xã: Bạch Đích, Du Già, Du Tiến, Đường Thượng, Lao Và Chải, Lũng Hồ, Mậu Duệ, Mậu Long, Na Khê, Nậm Ban, Ngam La, Ngọc Long, Niêm Sơn, Tát Ngà, Yên Minh thuộc huyện Đồng Văn.

Ngày 21 tháng 10 năm 1982, Hội đồng Bộ trưởng (nay là thủ tướng Chính phủ) ban hành quyết định 179/HĐBT, tách 4 xã Phú Lũng, Thắng Mố, Sủng Tráng, Sủng Thài của huyện Đồng Văn để sáp nhập vào huyện Yên Minh, tách 3 xã Niêm Sơn, Nậm Ban, Tát Ngà của huyện Yên Minh để sáp nhập vào huyện Mèo Vạc.[4] Huyện Yên Minh có 16 xã: Bạch Đích, Du Già, Du Tiến, Đường Thượng, Lao Và Chải, Lũng Hồ, Mậu Duệ, Mậu Long, Na Khê, Ngam La, Ngọc Long, Phú Lũng, Sủng Thài, Sủng Tráng, Thắng Mố, Yên Minh.

Ngày 20 tháng 8 năm 1999, chia xã Yên Minh thành thị trấn Yên Minh - thị trấn huyện lị huyện Yên Minh và 2 xã: Hữu Vinh, Đông Minh.